[rPPG]rPPG传统方法

两篇硕士毕业论文，采用传统方法同样的架构

  • 从幕布迁移：https://share.mubu.com/doc/HxQ3qAx0Lg

  • 目前在看的论文

    目前只看了孙晓老师给的论文中的一篇综述论文，以及两篇中文论文用于大致了解，计划等到学习了基本原理后再精读MIT的论文，等这些论文都看完后继续从综述提到的论文中进行广泛阅读。

    • \1. 【综述】： Chen X , Cheng J , Song R , et al. Video-Based Heart Rate Measurement: Recent Advances and Future Prospects[J]. IEEE Transactions on Instrumentation and Measurement, 2018:1-16.
      看完并大致总结了。
      中文在线：https://mp.weixin.qq.com/s/VpvP0sNcZQdMgRrRfa-cxw​

    • \2. 【江南大学硕士学位论文】：刘蕾, 董洪伟, 童晶. 基于视频的心率测量算法研究[J]. 计算机工程与应用, 2015, 51(018):199-203.
      目前只看了算法流程和创新点

    • \3. 【东南大学硕士学位论文】：皮慧. 基于人脸图像的非接触式心率测量方法研究[D]. 2017.
      目前只看了创新点

    • \4. 【MIT】：Rubinstein M. Analysis and visualization of temporal variations in video[D]. Massachusetts Institute of Technology, 2014.
      还没看

  • rPPG的基本原理和算法框架

    • 名词概念

      • ROI区域（Region of Interest）
        在某个光源或是自然的环境光条件下，使用摄像头捕捉人脸上某个区域的皮肤数据，这个区域被称为ROI（Region of Interest）

    • 原理

      • PPG和rPPG共同依赖的物理原理
        心跳带来的血液流动会在人体皮肤组织的微血管中形成周期性的变化，从而对吸收或反射光也会有一个周期性的信号。

      • PPG的原理
        因此可使用发光元件在测量心率时发出LED光射向皮肤，透过皮肤组织反射回的光被光敏传感器接收并转换成电信号再经过AD转换成数字信号，接着对周期性的数字信号进行分析即可。

      • rPPG的原理
        通过高清摄像头采集到的人脸视频数据中 TODO

    • 基本框架

      • \1. 人脸ROI区域实时定位和跟踪检测

      • \2. 对采集到的ROI数据计算颜色RGB的空间均值

      • \3. 对计算出的空间均值应用信号处理方法（低通滤波、盲源分离等）得到包含心率信息的分量

      • \4. 将快速傅立叶变换（FFT）或峰值检测算法应用于该分量，以估计相应的频率Fs

  • 近年来研究的两个大方向

    • 如何克服光照变化的影响
    - 研究更好的信号分离算法
        从原始信号中更好地分离出心率信号，所以其框架与之前类似，关键在于寻找更好的分离算法，但如果噪声信号与心率信号频率相近，这种方案可能很难得到很好的效果。

    - 如何从心率信号中减去这个环境噪声信号
        假设分离出来的心率信号中既含有真实的血流脉搏信号，也含有光照变化带来的噪声信号。这种光照变化可以单独去不含皮肤的背景环境中检测，然后从心率信号中减去这个环境噪声信号，从而得到干净的真实心率。

- 如何克服测量对象运动的影响



    - BSS-Based Methods
        BSS可以在没有先验信息的情况下从一组观察到的数据中分离出想要的信号，其中一种典型的BSS方法是独立成分分析（ICA）。许多研究者也将BSS和其他方法结合起来，取得了良好的效果。

    - Model-Based Methods
        利用一些颜色矢量的先验信息，基于模型的方法可以更好地从采集到的原始混合数据中分离出心率信号，就实验结果来看也更优于之前大部分BSS方法。目前主要的三种基于模型的方法有CHROM[10]、PBV[11]和POS[12]。

    - Motion Compensated Methods

    - Other Methods

  • 论文阅读

    • 江南大学硕士学位论文

      • 算法创新点

        • 提出了一种专门对肤色进行增强的算法
          使之能够专门针对视频中颜色进行增强，利用此改进，将肤色区域进行了颜色增强，并由此提高了心率检测的精确度。

        • 提高了CamShift人脸跟踪算法的速度及鲁棒性
          使用Kalman滤波预测人脸位置中心

      • 算法的基本思路
        呼吸时肤色会产生变化，通过增强这些微小不可见的变化，即增强肤色的变化，即可放大周期性变化，接着对放大后的信号进行滤波，得到心率。

      • 算法具体使用的方法

        • \1. 人脸定位与跟踪

          • 对第一帧人脸定位：AdaBoost

          • 后续人脸跟踪：CamShift + Kalman Filter

        • \2. 肤色增强

          • 欧拉影像放大算法（Eulerian motion magnification）

        • \3. 应用信号处理方法得到只包含心率信息的分量

          • 傅里叶变换，再将人的心率频率范围约束将不属于此范围的频率滤除

        • \4. 用差值法求得该信号的波峰个数，即心率值

    • 东南大学硕士学位论文

      • 算法创新点

        • 重要改进

          • 增强心率信号

            • 欧拉放大算法（Eulerian video magnification）在HSV空间上对信号进行颜色增强的方法

          • 抑制运动伪差（克服运动）

            • 结合拉格朗日视角进行颜色增强

          • 从噪声中分离心率信号（克服光照）

            • 基于mallat算法的小波重构与去噪算法

        • 小改进

          • 改进了基于人脸图像的非接触式心率检测流程

      • 算法的基本思路及方法

        • \1. 对采集到的视频进行特征区域跟踪

          • Adaboost检测到第一帧人脸区域并使用Meanshift与Kalman滤波相结合的跟踪算法获得后续的ROI区域

        • \2. 进行颜色增强，使得心率信号的变化更为明显

          • EVM算法在HSV空间上进行颜色增强

        • \3. 对采集到的ROI数据计算颜色RGB的空间均值，分成三通道

        • \4. 信号分离

          • 使用Mallat算法对PPGI信号进行多尺度分析去噪后重构心率信号

        • \4. 将快速傅立叶变换（FFT）应用于该分量，以估计相应的频率Fs

      • 算法具体使用的方法（TODO）

赏

谢谢你请我吃糖果

扫一扫，分享到微信

微信分享二维码